BUNDESREPUBLIK DEUTSCHLAND 




Prioritatsbescheihigung iiber die Einreichung 
einer Patentanmeldung 



m 



Aktenzeichen: 

Anmeldetag: 

Anmelder/lnhaber: 

Bezeichnung: 
IPC: 



103 15 592.9 
05. April 2003 

Leica Microsystems Heidelberg GmbH, 
Mannheim/DE 

Verfahren zum Ausfuhren von Interaktionen an sich 
raumlich und zeitllch verandernden mikroskopischen 
Objekten und System hierzu 

G 01 B, G 01 N 



Die angehefteten Stucke sind eine richtige und genaue Wiedergabe der ur- 
sprunglichen Unterlagen dieser Patentanmeldung. 



Munchen, den 09. Januar 2004 
Deutsches Patent- Und Markenamt 
Der Prasident 

hn Auftrag 



HoiB 



A 9161 

06/00 
EDV-L 



A 3139 DE 
01 .04.2003 



1 



VArfahren zum A..>.fuhren vo n m^praktionen an sich raumlich und zeitlich 
v,.randernden niikroskooische n Obiekten und System hierzu. 



Die Erfindung betrifft ein Verfahren zum Ausfuhren von Interaktionen an sich 
^ ^ raumlich und zeitlich veranderten mikroskopischen Objekten. Interaktion 

5 bedeutet dabei zum einen das Ausfuhren von Manipulationen an den 
mikroskopischen Objekten. Ferner bedeutet interaktion auch die Aufnahme. 
Speicherung und Verarbeitung von Daten. die von den ausgewahlten 
mikroskopischen Objekten gewonnen werden. 

Ein zweiter Aspekt der Erfindung betrifft ein System zur Beobachtung und 
10 Manipulation von sich raumlich und zeitlich veranderten mikroskopischen 
Objekten. Im besonderen umfasst das System ein konfokales Scanmikroskop, 
das einen Beleuchtungslichtstrahl uber ein Objekt fOhrt. mehrere Detektoren, 
die aus dem vom Objekt ausgehenden Licht Intensitaten aus 
unterschiedlichen Spektralbereichen ermitteln. eine Verarbeitungseinheit. 
15 einen PC. eine Eingabeeinheit und ein Display. 

^ Es existieren zahlreiche Verfahren zum Ausfuhren von interaktionen an 

biologischen Objekten. Dabei ist jedoch zu beachten. dass diese biologischen 
Objekte ruhen oder sich wenig zeitlich und raumlich andern. Eine Auswertung 
von Daten sich zeitlich und raumlich andernder mikroskopischer Objekte 
20 konnte bisher nicht zufriedenstellend durchgefuhrt v*/erden. 

Der Erfindung liegt die Aufgabe zugrunde ein Verfahren zum AusfQhren von 
Interaktionen an sich rSumlich und zeitlich verandernden mikroskopischen 
Objekten zu schaffen. und dabei unabhangig von der Bewegung der 
mikroskopischen Objekte eine gezielte Interaktion an den ausgewahlten 
25 Bereichen bzw. Positionen innerhalb des mikroskopischen Objekts 
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gewahrleisten zu konnen. 

Die objektive Aufgabe wind durch ein Verfahren gelost, das die Merkmale des 
Patentanspruchs 1 aufweist. 

Eine weitere Aufgabe der Erfindung ist, ein System zum Ausfuhren von 
5 Interaktionen an sich raumlich und zeitlich verandernden mikroskopischen 
Objekten zu schaffen, und dabei unabhangig von der Bewegung der 
mikroskopischen Objekte eine gezielte Interaktion an den ausgewahlten 
Bereichen bzw. Positionen innerhalb des mikroskopischen Objekts 
gewahrleisten zu konnen. 

10 Die objektive Aufgabe wird durch ein System gelost, das die Merkmale des 
Patentanspruchs 7 aufweist. 

Die Erfindung hat den Vorteil, dass zunachst mit einem Mikroskop ein Bild 
einer Probe erzeugt wird, wobei das Bild mindestens ein mikroskopisches 
Objekt umfasst. Anhand des Bildes wird interaktiv durch den Benutzer 

15 mindestens ein virtuelles Bezugsobjekt definiert. Dieses Bezugsobjekt 
definiert eine diskrete Punktemenge von Interaktionsorten, 
zusammenhangende Regionen von Interaktionsorten oder lokale 
Koordinatensysteme, die in die Schwerpunkte der abgebildeten Objekte gelegt 
werden. Durch diesen Schritt wird mindestens eine Region oder mehrere 

20 Positionen im Objekt bestimmt. Mit dem Mikroskop wird eine Folge von 
Bildern aufgenommen und aus diesen Bildern wird ein optischer Fluss 
berechnet. Dieser optische Fluss beschreibt die Bewegung der Grauwerte aus 
einem Bild in das nachste. Der aus der Folge der Bilder errechnete optische 
Fluss wird auf die Menge vordefinierter virtueller Bezugsobjekte wie 

25 kartesisches Koordinatensystem, Region oder Positionen im Objekt 
angewandt. Schliefilich erfolgt das Ausfuhren der Interaktionen auf den durch 
den optischen Fluss geanderten virtuellen Bezugsobjekten und somit in einem 
geanderten Koordinatensystem, einer geanderten Region oder den 
geanderten Positionen im sich zeitlich und raumlich verandernden 

30 mikroskopischen Objekt. Auf diese Weise wird sichergestellt, dass die 



Interaktion an dem vom Benutzer gewunschten Ort trotz Eigenbewegung oder 
Deformation des mikroskopischen Objekts, durchgefuhrt wird. 

Die Interaktion wird im Rahmen dieser Schrift als die Gewinnung von 
Messdaten des Objekts oder auch als die gezielte Manipulation des Objekts 
an mindestens einer Position des Objekts definiert. Beispiele sind die 
Gewinnung von Intensitatsparametern durch Aufnahme oder Berechnungen 
wie Mittelwert, Maximum, Varianz oder beliebiege Momente der 
intensitatsverteilung innerhalb einer Region. Die Gewinnung von Messdaten 
kann auch die Gewinnung von Geometriedaten, wie z.B. Schwerpunkt, 
Oberflache, Umfang, Volumen einer markierten Region oder die Bewegung 
des Schwerpunkts der markierten Region sein, die sich unter dem Einfluss 
des Flussfeldes verandern, Weitere Klassen von Messwerten ergeben sich 
aus der Detektion von Kollisionen markierter Objekte unter der Einwirkung des 
Flussfeldes. Diese Messdaten werden durch das Verfahren in geeigneter 
Form extrahiert und stehen im Nachhinein einer Visualisierung sowie einer 
rechnergesteuerten Datenanalyse zur Verfugung. Weitere Beispiele fur 
Interaktionen ist die gezielte Beleuchtung von Positionen innerhalb des 
Objekts mit elektromagnetischer Strahlung, Bei der Manipulation des Objekts 
kann es sich z.B. um ein gezieltes Bleichen von Farbstoffen, eine gezielte 
Photoaktivierung von Farbstoffen oder einen Cage-Compound-Reiease in 
einem bestimmten Bereich des mikroskopischen Objekts handein (z.B. ein 
Zellkern). Ebenfalls kann die Manipulation des mikroskopischen Objekts das 
Schneiden oder Ausschneiden der bestimmten Region oder Positionen des 
Objekts umfassen. Dabei ist es besonders wichtig, dass man die Bewegungen 
und die zeitliche Veranderung des Objekts miterfasst, um das 
mikroskopischen Objekt an der richtigen und auch gewunschten Stelle zu 
schneiden oder auch zu manipulieren. Die Interaktion kann somit die 
Gewinnung aller erdenklichen Messdaten und auch die gezielte Manipulation 
des Objekts in einem ausgewahlten Bereich oder an ausgewahlten Positionen 
des mikroskopischen Objekts umfassen. 



Die Erfindung wird im folgenden am Beispiel eines konfokalen Mikroskops 
beschrieben, wobei dem Fachmann klar ist, da(i dieselbe Technologie auch 
auf andere Mikroskopiearten angewandt werden kann. Weitere vorteilhafte 
Ausgestaltungen der Erfindung konnen den Unteranspruchen entnommen 
werden. 

In der Zeichnung ist der Erfindungsgegenstand schematisch dargestellt und 
wird anhand der Figuren nachfolgend beschrieben. Dabei zeigen: 

Fig. 1 eine schematische Darstellung eines 

Ausfuhrungsbeispiels eines Scanmikroskops, wobei den Detektoren ein SP 
Modul nachgeschaltet ist; 

Fig. 2 eine Ausfuhrungsform der Auswahl eines 

mikroskopischen Objekts; 

Fig. 3 eine weitere Ausfuhrungsform der Auswahl eines 

mikroskopischen Objekts; 

Fig. 4 eine graphische Darstellung der Bewegung des Objekts 

im kartesischen Koordinatensystem; 

Fig. 5 eine graphische Darstellung der Bewegung eines Objekts, 

wobei ein kartesisches Koordinatensystem im Schwerpunkt des Objekts 
festgelegt ist und bei der Bewegung des Objekts mitbewegt wird; 

Fig. 6 eine schematische Darstellung der Ermittlung des 

Verschiebungsvektorfeldes; und 

Fig. 7 eine schematische Darstellung eines Teilbereichs einer 

weiteren Ausfuhrungsform des Mikroskopsystems, wobei verschiedene 
Stellelemente vorgesehen sind. 

In Fig. 1 ist das Ausfuhrungsbeispiel eines konfokalen Scanmikroskops 100 
schematisch gezeigt. Obwohl hier ein konfokales Scanmikroskop 100 
dargestellt ist soil es nicht als Beschrankung der Erfindung aufgefasst werden. 



Es ist ebenso denkbar den Gegenstand der Erfindung auch mit einem 
konventionellen Mikroskop zu realisieren. Der von mindestens einem 
Beleuchtungssystem 1 kommende Beleuchtungslichtstrahl 3 wird von einem 
Strahlteiler oder einem geeigneten Umlenkmittel 5 zu einem Scanmodul 7 
geleitet. Bevor der Beleuchtungslichtstrahl 3 auf das Umlenkmittel 5 trifft, 
passiert dieser ein Beleuchtungspinhole 6. Das Scanmodul 7 umfasst einen 
kardanisch aufgehangten Scanspiegel 9, der den Beleuchtungslichtstrahl 3 
durch eine Scanoptik 12 und ein Mikroskopobjektiv 13 hindurch uber bzw. 
durch eine Probe 15 fuhrt. Der Beleuchtungslichtstrahl 3 wird bei nicht 
transparenten Proben 15 uber die Probenoberflache gefuhrt. Bei biologischen 
Proben 15 oder transparenten Proben kann der Beleuchtungslichtstrahl 3 
auch durch die Probe gefuhrt werden. Zu diesen Zwecken werden 
nichtleuchtende Praparate gegebenenfalls mit einem geeigneten Farbstoff 
prapariert (nicht dargestellt, da etablierter Stand der Technik). Die in dem 
Objekt vorhandene Farbstoffe werden durch den Beleuchtungslichtstrahl 3 
angeregt und senden Licht in einem ihnen eigenen charakteristischen Bereich 
des Spektrums aus. Dieses von der Probe 15 ausgehende Licht definiert 
einen Detektionslichtstrahl 17. Dieser gelangt durch das Mikroskopobjektiv 13, 
die Scanoptik 12 und uber das Scanmodul 7 zum Umlenkmittel 5, passiert 
dieses und gelangt uber ein Detektionspinhole 18 auf mindestens eine 
Detektoreinheit 19. Die z.B. als Photomultiplier ausgefuhrt ist. In dem hier 
dargestellten System des Scanmikroskops 100 ist dem Detektor 19 ein SP- 
Modul 20 vorgeschaltet. Mit dem SP-Modul 20 kann der Benutzer den 
geeigneten Bereich zur Detektion auswahlen und gegebenenfalls auf 
entsprechende Detektoren richten. Es ist dem Fachmann klar, dass auch 
andere Detektoren, wie z.B. Dioden, Dioden-Arrays, APDs. Photomultiplier- 
Arrays, CCD-Chips oder CMOS-Bildsensoren eingesetzt werden konnen. Der 
von der Probe 15 ausgehende bzw. definierte Detektionslichtstrahl 17 ist in 
Fig. 1 als gestrichelte Linie dargestellt. Im Detektor 19 werden elektrische. zur 
Leistung des von der Probe 15 ausgehenden Lichtes, proportionale 
Detektionssignale erzeugt. Da, wie bereits oben erwahnt, von der Probe Licht 
nicht nur einer Wellenlange ausgesandt wird, ist es sinnvoll vor der 
mindestens einen Detektionseinheit 19 das SP-Modul 20 vorzusehen. Die von 



dem Detektor 19 oder den Detektoren erzeugten Daten werden an ein 
Rechnersystem 23 weitergegeben. Dem Rechnersystem 23 ist mindestens ein 
Peripheriegerat 27 zugeordnet, das z.B. als Display ausgebildet ist. Mit dem 
Display 27 werden dem Benutzer die von den Detektoren aufgenommenen 
und an das Rechnersystem 23 gelieferten Daten der Probe 15 blldlich 
dargestellt. Die bildliche Darstellung der Probe 15 umfasst mindestens ein 
mikroskopisches Objekt 30. Ferner ist dem Rechnersystem 23 ein 
Eingabemittel zugeordnet, das z. B. aus einer Tastatur 28 einer 
Einstellvorrichtung 29 fur die Komponenten des Mikroskopsystems und einer 
Maus 25 besteht. Mit der Maus 25 kann z.B. der Benutzer das mikroskopische 
Objekt 30 auswahlen, um an dem ausgewahlten Objekt 30 entsprechende 
Manipulationen durchfuhren zu konnen. Neben der Auswahl des gesamten 
mikroskopischen Objekts 30. kann der Benutzer auch einzelne Positionen 63o 
bzw. Pixel im Bild der Probe 15 auswahlen, um aufgrund dieser ausgewahlten 
Positionen gezielte Manipulationen bzw. Interaktionen durchfuhren zu konnen. 
Das mikroskopische Objekt kann auch ohne direktes Markieren durch den 
Benutzer mittels automatischer Bildverarbeitungsalgorithmen ausgewahit 
werden. Diese Bildverarbeitungsalgorithmen sind aus dem Stand der Technik 
hinlanglich bekannt. 

In Fig. 2 ist eine Ausfuhrungsform fur die Auswahl eines mikroskopischen 
Objekts innerhalb der Probe 15 dargestellt. Die vom Scanmikroskop 100 
aufgenommenen Daten der Probe 15 sind auf dem Display 27 in bildlicher 
bzw. graphischer Form dargestellt. Das Bild der Probe 15 umfasst mehrere 
mikroskopische Objekte 30. Von den mikroskopischen Objekten 30 kann 
durch den Benutzer mindestens ein mikroskopisches Objekt 30 ausgewahit 
werden. Die Auswahl des mikroskopischen Objekts 30 erfoigt z.B. mittels der 
Maus 25. Hierzu kann der Benutzer mit der Maus 25 z.B. ein Fadenkreuz 35 
auf das mikroskopische Objekt richten. Durch einen Mausklick ist dieses 
mikroskopische Objekt 30 ausgewahit. Das Rechnersystem 23 ermittelt 
anhand der Auswahl den Schwerpunkt des mikroskopischen Objekts 30. 
Ebenso kann z.B. der Benutzer, wie in Fig. 3 dargestellt ist, mittels eines 
Mauszeigers 37 innerhalb eines ausgewahlten mikroskopischen Objekts 30 



eine virtuelles Bezugsobjekt definieren, welches eine Region 36 festlegt 
innerhalb der bestimmte Manipulationen bzw. Interaktionen durchgefuhrt 
werden konnen. Ebenso kann der Benutzer im Oder am mikroskopischen 
Objekt mehrere Positioner! 38 festlegen, an denen die ausgewahlten 
Messungen bzw. Interaktionen durchgefuhrt werden. 

Fig. 4 zeigt eine graphische Darstellung der Bewegung eines mikroskopischen 
Objekts 30 in einem statischen Koordinatensystem. Das statische 
Koordinatensystem 40 umfasst eine X-Achse und eine Y-Achse, die beide 
senkrecht zueinander angeordnet sind. Im Koordinatensystem 40 ist ein 
mikroskopisches Objekt 30 zum Zeitpunkt T=0 eingezeichnet. Ebenso ist in 
Fig. 4 das mikroskopische Objekt 30 zum Zeitpunkt T=N eingezeichnet. Der 
Ubergang vom mikroskopischen Objekt 30 beim Zeitpunkt T=0 zum 
mikroskopischen Objekt 30 beim Zeitpunkt T=N wird mittels eines ersten 
Vektors 41 und eines zweiten Vektors 42 dargestellt. Der zweite Vektor 42 ist 
dabei langer als der erste Vektor 41, was auf eine Bewegung des 
mikroskopischen Objekts 30 hindeutet, die aus einer Translation in 
Verbindung mit einer Rotation entstanden ist. Es ist schwierig, mit dieser 
Ausfuhrungsform die bestimmten und ausgewahlten Interaktionspositionen 
bzw. Interaktionsflachen zu definieren und wieder aufzufinden. Dies liegt vor 
allem darin, dass ein statisches Koordinatensystem zum Verfoigen der 
Interaktionspositionen bzw. Interaktionsflachen verwendet wird. Es ist immer 
schwierig vom Koordinatenursprung des statischen Koordinatensystems 40 
auf die neue Position bzw. Lage der Regionen bzw. Positionen innerhalb des 
mikroskopischen Objekts 30 zum Zeitpunkt T=N zu rechnen. 

In Fig. 5 ist eine graphische Darstellung der Bewegung eines mikroskopischen 
Objekts dargestellt. wobei als virtuelles Bezugsobjekt ein Koordinatensystem 
in den Schwerpunkt des mikroskopischen Objekts gelegt ist, das bei der 
Bewegung des mikroskopischen Objekts diesem folgt. Wie bereits oben 
erwahnt, wahit der Benutzer ein mikroskopisches Objekt 30 im Bild der Probe 
aus und das Rechnersystem 23 ermittelt den Schwerpunkt 50 des 
mikroskopischen Objekts 30. In Fig. 5 ist das mikroskopische Objekt 30 zum 
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Zeitpunkt T=0 dargestellt. Der Schwerpunkt 50o zum Zeitpunkt T=0 befindet 
sich innerhalb des mikroskopischen Objekts 30. Der Schwerpunkt 50o bildet 
den Ursprung des Koordinatensystems 52o zum Zeitpunkt T=0. Das 
mikroskopische Objekt 30-0 umfasst ferner eine Region 51, an der eventuell 
Manipulationen bzw. Interaktionen durchgefuhrt werden sollen. Das 
mikroskopische Objekt 30 zum Zeitpunkt T=N ist aus dem mikroskopischen 
Objekt 30 zum Zeitpunkt T=0 durch Rotation und Translation hen/orgegangen. 
Hinzu kommt, dass das mikroskopische Objekt 30 ebenfalls Verformungen 
untenA^orfen sein kann. Verformungen treten bei biologischen Objekten haufig 
auf. Somit andert sich auch die Lage des Schwerpunkts 50 zum Zeitpunkt 
T=N innerhalb des mikroskopischen Objekts 30 zum Zeitpunkt T=N. Die 
Region 51 an der Manipulationen bzw. Interaktionen ausgefuhrt werden sollen 
ist in dem vorliegenden Fall teilweise aus dem mikroskopischen Objekt 30 
ausgewandert. Die Objektbewegungen verfolgt man durch Tracking und 
Nachfuhren der Koordinatentransformation, indem man das optische Flussfeld 
als Kraft auf das Koordinatensystem einwirken lasst. Dieses in Fig. 5 
dargestellte Verfahren funktioniert manchmal hinreichend, versagt jedoch in 
gewissen Situationen Beispiele hierfur sind die bereits enA^ahnten 
Verformungen der mikroskopischen Objekte, wie sie in der Biologie ubiich 
sind. 

Fig. 6 zeigt die schematische Darstellung der Ermittlung eines 
Verschiebungsvektorfeldes 60, das die Rotation und Translation zwischen 
einem mikroskopischen Objekt 30 zum Zeitpunkt T=0 und einem 
mikroskopischen Objekt 30 zum Zeitpunkt T=N reprasentiert. Das 
mikroskopische Objekt 30 ist durch eine Region 61 dargestellt. die von einer 
Linie 62 umschlossen ist. Die Linie 62 kann auch die ausgewahlte Region 
umschlielien, und somit zumindest ein Teil des mikroskopischen Objekts 30 
sein. Das Rechnersystem 23 vergleicht nun die festgelegten Positioner) 63o 
am mikroskopischen Objekt 30 zum Zeitpunkt T=0 mit der Lage von mehreren 
Positionen 63n am mikroskopischen Objekt 30 zum Zeitpunkt T=N durch die 
Berechnung eines zeitlich veranderlichen Flussfeldes. Menschliche Augen 
konnen dies durch die Verfolgung einzelner Merkmale nachvollziehen. wie in 
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der Zeichnung entlang der Linie 62 ducrch mehrere Positioner! 63o 
verdeutlicht wird. Fehlen Bezugsmerkmale kann das Auge diese 
Transformation nicht nachvollziehen, wahrend das matliematische Werkzeug 
eine Losung liefert. Das Verschiebungsvektorfeld 60 resultiert aus der 
Zuordnung einander entsprechender Pixel-Positionen zum Zeitpunkt T=0 und 
zum Zeitpunkt T=1 und zum darauffolgenden Zeitpunkt T=2, sukzessive bis 
zum Zeitpunkt T=N. Das Verscliiebungsvektorfeld 60 findet man dadurch, in 
dem das Rechnersystem 23 Korrespondenzen zwischen alien Pixel- 
Positionen 63-0 zum Zeitpunkt T=0 und den Pixel-Positionen 63-N zum 
Zeitpunkt T=N sukzessive sucht. Die Beschrankung auf die Pixel 63-0, 63-N 
ist nur zur Verdeutlichung gemacht. mathematisch wird die Losung des 
Flussprobiems mit alien Pixein vorgenommen. Obwohl in den Fig. 4 und 5 
lediglich zwel aufeinanderfolgende mikroskopische Objekte dargestellt sind. ist 
es fur den Fachmann selbstverstandlich, dass das erfinderische Verfahren auf 
eine Bildfolge von N-Bildern angewendet werden kann. Auch die 
Verallgemeinerung auf mehr als ein Objekt ist problemlos moglich. Anhand 
der Bildfolge bzw, Volumenfolge wird durch die Losung des Flussprobiems die 
Deformation und Bewegung bestimmt, die man auf die anfanglich definierten 
Regionen bzw. Positionen anwendet und diese somit verfolgt bzw. trackt. 
Dieses Verfahren benotigt keine Binarisierung von Objekten sondern arbeitet 
auf den Intensitaten und somit auf einem quasi-kontinuierlichen Modell. Das 
Verschiebungsvektorfeld ermittelt sich z.B. uber die Gleichungen 1 bis 3 die 
auch als „optische Fluss" Gleichung bezeichnet wird, 
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wobei / die Intensitat ist. Es ist dem Fachmann allerdings hinreichend 
bekannt, dali es weitere Flussgleichungen gibt, die diese ersetzen konnen. 
Die aus diesen Gleichungen hervorgehenden Vektorfelder sind die 
Anderungsanweisungen, urn die durch die virtuellen Bezugsobjekte definierten 
Orte in jedem Zeitschritt anzupassen. 

Die Modifikationen bzw. Interaktionen erfolgen immer auf dem geanderten 
Koordinatensystem und folglicli an der geanderten Position des 
mikroskopisclien Objekts 30. In der Praxis heilit dies, dass die im 
mikroskopischen Objekt 30 markierte Region 61 bzw. Positionen 63 der 
Koordinatensystemanderung unterworfen sind, die durch das gefundene 
Verschiebungsvektorfeld definiert sind. Die Modifikationen bzw. Interaktionen 
werden aufgrund der Koordinatensystemanderungen an den virtuellen 
Bezugsobjekten, also z.B. auf die Region 61 bzw. auf die Positionen 63, 
angewendet. So werden z.B. in Abhangigkeit von der Zeit die 
Geometriedaten, wie z.B. der Schwerpunkt, die Oberflache, der Umfang oder 
das Volumen des sich verandernden mikroskopischen Objekts 30 ermittelt. 
Ebenso kann die Bewegung des Schwerpunkts oder ahnlicher Merkmale uber 
die Zeit bildlich dargestellt und ausgewertet werden. Aus den Geometriedaten 
konnen abgeleitete Geometriedaten, wie Geschwindigkeit, Beschleunigung 
Oder Verzogerung ermittelt werden. Ebenso ist es moglich Kollisions-, 
Vereinigungs- und Trennungsstatistiken vordefinierter mikroskopischer 
Objekte im Blld der Probe 15 uber die Zeit zu erfassen, die im Rahmen oben 
gegebenener Definition als Messung generalisiert werden. Ebenso ist es 
moglich Intensitaten innerhalb eines interessierenden Bereichs (Region of 
Interest) uber die Zeit zu erfassen. Dies ermoglicht z.B. Organellen oder 
sonstige von Biologen erkennbare strukturierte Objekte innerhalb einer 
biologischen Masse zu kennzeichnen und Prozesse im Innern der 
mikroskopischen Objekte oder Organellen zu messen, obwohl diese sich 
heftig bewegen und/oder zappeln. Hinzu kommt, dass mit dem 
erfindungsgemalSen Verfahren Manipulationen der markierten Pixelbereiche 
mittels elektromagnetischer Strahlung durchgefuhrt werden konnen. Bei der 
VenA^endung eines Scanmikroskops handelt es sich derzeit bei der 
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Manipulation durch Strahlung vorzugsweise um Laserstrahlung zu Zwecken 
des Bleichens, des Schneidens, des Cage-Compound-Release Oder der 
Photoaktivierung, wobei dem Fachmann hinreichend klar ist, daB jede weitere 
in Zukunft auftretende Interaktion mit elektromagnetischer Strahlung auch 
abgedeckt ist. Diese Manipulation wird ausschlielilich auf den durch das 
virtuelle Bezugsobjekt definierten Bereiches des mikroskopischen Objekts 30 
angewendet und zwar unabhangig davon, wie sich der Bereich des 
mikroskopischen Objekts 30 uber die Zeit verandert und bewegt. Bei der 
VenA^endung eines herkommlichen Mikroskops oder eines Scanmikroskops, 
kann man z.B. Bereiche oder Positionen eines mikroskopischen Objekts 30 
markieren, diese uber die Zeit verfoigen und diese zu einem bestimmten 
Zeitpunkt schneiden bzw. manipulieren. Dabel ist durch das 
erfindungsgemalie Verfahren sichergestellt, dass unabhangig von der 
Bewegung des mikroskopischen Objekts 30 diese Stelle geschnitten bzw. 
manipuliert wird, die zu einem Zeitpunkt T=0 von den Benutzer ausgewahit 
worden ist. 

Fig, 7 zeigt eine schematische Darstellung eines Teilbereichs des 
Mikroskopsystems, der die Verbindung des Rechnersystems 23 mit den 
verschiedenen Stellelementen des Scanmikroskops 100 offenbart. In einer 
besonderen Ausfuhrungsform kann die Berechnung der Bewegung des 
mikroskopischen Objekts 30 mit einem FPGA/DSP 63 durchgefuhrt warden. 
Hinzu kommt, dass der FPGA/DSP 63 auch dazu herangezogen werden 
kann, das Scanmikroskop 100 uber entsprechend ansteuerbare Stellelemente 
nachzuregein, falls das ausgewahlte mikroskopische Objekt 30 bzw. die 
Region im mikroskopischen Objekt 30 das durch das Mikroskop festgelegte 
Bildfeld verlasst. Der FPGA/(DSP 63 kann ebenfalls als Einschub im 
Rechnersystem 23 selbst ausgebildet sein. Ebenso ist es denkbar, dass eine 
Software die Berechnung fur die Bewegungsverfolgung und die Ermittlung des 
Verschiebungsvektorfeldes realisiert. Dabei konnen sowohl die Software 
und/oder der FPGA/DSP 63 in entsprechender Weise zusammenarbeiten. Die 
durch das Softwaremodul und/oder das FPGA/DSP 63 ermittelten 
Veranderungen des mikroskopischen Objekts 30, werden zum eventuellen 



Nachfuhren der optischen Systeme des Scanmikroskops herangezogen. 1st es 
z.B. erforderlich, das Bildfeld des Scanmikroskops aufgrund der 
Auswanderung des mikroskopischen Objekts 30 nachzufuhren, so werden an 
entsprechende Stellelemente Aktuatorsignale an der Software bzw. dem 
FPGA/DSP 63 geliefert. Das Scanmikroskop 100 ist mit einem XYZ-Tisch 65 
versehen, der in alien drei Raumrichtungen verstellbar ausgerichtet ist. Fur 
jede Achse ist ein Stellmotor 66 vorgesehen, uber den eine geeignete 
Verstellung des XYZ-Tisches 65 durchgefuhrt werden kann. Die Signale fur 
die Verstellung werden aufgrund des Trackings von der Software oder von 
dem FPGA/DSP 63 erzeugt. Ebenso erzeugt die Software oder der 
FPGA/DSP 63 Signale zum Verstellen eines Objektivrevolvers 67 des 
Scanmikroskops 100 urn somit eine Veranderung des Bildfeldes herbeifuhren 
zu konnen. Der Objektivrevolver 67 umfasst einen ersten Stellmotor 68 zum 
Drehen des Objektiverevolvers, so dass eines der mehreren Objektive 70 in 
die Arbeltsposition gebracht werden kann. Hinzu kommt, dass ein zweiter 
Stellmotor, oder Aktuator 69 (Piezo) vorgesehen ist. der eine 
Relativbewegung zwischen dem Objektivrevolver 67 und dem XYZ-Tisch 65 
erzeugt. Das Auswahlen eines anderen Objektivs 70 wird z.B. dann angeregt, 
wenn aufgrund der Bewegungen des mikroskopischen Objekts 30 bzw. der 
ausgewahlten Region die Auswahl eines neuen Bildfensters erforderlich ist. 
Ebenso wird aufgrund des ermittelten Verschiebungsvektorfeldes durch die 
Software oder den FPGA/DSP 63 an die Galvos des Scanmoduls 
entsprechende Steuersignale geliefert. damit diese der Bewegung des 
mikroskopischen Objekts 30 in entsprechender Weise folgen konnen und 
somit die gewunschte Interaktion bzw. Modifikation ausschlieSlich auf den 
ausgewahlten Bereich des mikroskopischen Objekts anwenden. Die Anzahl 
der Stellmoglichkeiten im mikroskopischen System hangt vor allem im 
wesentlichen von der jeweils gewunschten Ausstattung des mikroskopischen 
Systems ab. Eine Standardkonfiguration eines Scanmikroskops 100 hat z.B. 
neben einer Galvanometersteuerung in XYZ fur die Steuerung des 
Abtastpunktes haufig noch einen XY-Tisch und einen groben z-Aktuator womit 
sich fur XYZ jeweils zwei Satze von Aktuatoren ergeben, die zur Steuerung 
genutzt werden konnen. 
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Die Erfindung wurde in Bezug auf eine besondere Ausfuhrungsform 
beschrleben. Es ist jedoch selbstverstandlich, dass Anderungen und 
Abwandlungen durchgefuhrt werden kOnnen, ohne dabei den Schutzbereich 
der nachstehenden Anspruche zu verlassen. 



Patentanspriiche 



1. Verfahren zum Ausfuhren von Interaktionen an sich raumlich und 

zeitlich verandernden mikroskopischen Objekten (15), mit einem Mikroskop, 
gekennzeichnet durch die folgenden Schritte: 

Erzeugen mindestens eines Bildes einer Probe, die mindestens ein 
mikroskopisches Objekt umfasst, 

Definition von virtuellen Bezugsobjekten auf einem diskreten Raster 
des aufgenommenen Bildes bzw. der aufgenommenen Bilder durch 
den Benutzer zur Definition von Regionen, 

Automatisierte Aufnahme einer Folge von Bild- Oder Volumendaten. 

Sukzessives Ermittein eines optischen Flusses aus der Folge von 
aufgenommenen Bildern; 

- Anwenden des ermittelten optischen Flusses auf die definierten 
Bezugsobjkekte; und 

- Ausfuhren von Interaktionen auf das durch den optischen Fluss 
geanderte Bezugsobjekt. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet das die 

virtuellen Bezugsobjekte als Regionen, diskrete Punktmengen Oder lokale 
Koordinatensysteme auf dem Bezugsraster der Bildfolge definiert sind und 
Interaktionsorte definieren. 



3. 



Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass 
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die Interaktionen die Gewinnung von Messdaten des Objekts oder die 
gezielte Manipulation des Objekts an den durch die virtuellen Bezugsobjekte 
definierten Positionen umfassen 



5 4. Verfahren nach Anspruch 3, dadurch gekennzeichnet. dass die 

Gewinnung der Messdaten 

Bilddaten, 

Geometriedaten des virtuellen Bezugobjekts, wie Schwerpunkt, 
Oberflache, Umfang oder Volumen, oder 

10 - aus Geometriedaten des virtuellen Bezugobjekts abgeleitete Grossen 

wie Geschwindigkeit, Beschleunigung, Volumen- und 
Oberflachenwachstumsraten, Kollissionstatistiken von virtuellen 
Bezugsobjekten, sowie 

- das Bestimmen der Intensitat innerhalb der durch das virtuelle 
15 Bezugsobjekt definierte Region durch die Erfassung der 

Intensitatsverteilungsfunktion und beliebiger davon abgeleiteter 
Parameter wie Mittelwert, Varianz. Schiefe, oder hohere Momente 
sowie andere in der Statistik ubiichen Parameter wie Quantile, Median 
Oder Spanbreite 

20 umfasst. 



6. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die 

gezielte Manipulation des Objekts, beziiglich der bestimmten Regionen oder 
Positionen im Objekt, durch Strahlung erfolgt zum Zwecke von Bleichen, 
25 Photoaktivierung, Cage-Compound-Release sowie Schneiden und 
Ausschneiden. 



7, System zur Interaktionen an sich raumlich und zeitlich verandernden 
mikroskopischen Objekten (15) umfasst ein konfokales Scanmikroskop (100) 
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das einen Beleuchtungslichtstrahl (3) uber ein Objekt (15) fuhrt, mehrere 
Detektoren, die aus dem vom Objekt (15) ausgehenden Licht (17) Intensitaten 
aus unterschiedlichen Spektralbereichen ermittein, eine Verarbeitungseinheit 
(23), einen PC (34), eine Eingabeeinheit (33) und ein Display (27). dadurch 
gekennzeichnet, dass: 

dem Anwender auf dem Display ein einzelnes Bild prasentiert 

der Anwender interaktiv virtuelle Bezugsobjekte auf dem auf dem 
Display (27) angezeigten Bild mit der Hilfe der Eingabeeinheit (33) zur 
Positionsfestlegung definiert. 

- in der Verarbeitungseinheit (23) ein Mittel zur Bestimmung des 
optischen Flusses aus den von Detektoren (19) ermittelten Intensitaten 
aus unterschiedlichen Spektralbereichen untergebracht ist, 

- in der Verarbeitungseinheit (23) ein Mittel zur Anwendung des 
optischen Flusses auf die virtuellen Bezugsobjekte vorliegt und 

- die Verarbeitungseinheit (23) Interaktionen auf der Basis der 
veranderten Bezugsobjekte steuert. 

8. System nach Anspruch 7, dadurch gekennzeichnet, das die 
virtuellen Bezugsobjekte als Regionen, diskrete Punktmengen oder lokale 
Koordinatensysteme auf dem Bezugsraster der Bildfolge definiert sind und 
Interaktlonsorte definieren. 

9. System nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die 
Interaktionen sowohl die Gewinnung von Messdaten des Objekts als auch die 
gezielte Manipulation des Objekts an den durch die virtuellen Bezugsobjekte 
definierten Position erfolgt. 

10 System nach Anspruch 9, dadurch gekennzeichnet, dass die 

Gewinnung der Messdaten 
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- Geometriedaten. wie Schwerpunkt, Oberfiache, Umfang oder 
Volumen, oder 

- Aus Geometriedaten abgeleitete Grossen wie Geschwindlgkeit, 
Beschleunigung, Volumen- und Oberflachenwachstumsraten, 

5 Kollissionstatistiken von virtuellen Bezugsobjekten, sowie 

das Bestimmen der Intensitat innerhalb der durch das virtuelle 
Bezugsobjekt definierte Region durch die Erfassung der 
Intensitatsverteilungsfunktion und beliebiger davon abgeleiteter 
Parameter wie Mittelwert, Varianz, Schiefe, oder hohere Momente 
10 sowie andere In der Statistik ubiichen Parameter wie Quantile, Median 

Oder Spanbreite 

umfasst. 



11 System nach Anspruch 10, dadurch gekennzeiclinet, dass die 

15 gezielte Manipulation des Objekts, bezuglich der bestimmten Regionen oder 
Positionen im Objekt, die Manipulation durch Strahlung erfolgt zum Zwecke 
von Bleichen, der Photoaktivierung, des Cage-Compound-Release sowie des 
Schneiden und des Ausschneidens. 
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Zusammenfassuna 



Das Verfahren und System vereinfacht bewegliche Interaktionen durch 
virtuelle Bezugsobjekte und fluss-basierte Koordinatentransformationen zur 
Erzeugung eines veranderlichen Bezugrahmens. 



Fig. 6 
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